לקראת מלחמת העולם הראשונה היה גריי מעורב במספר פרשיות אשר, בסופו של דבר, הובילו לפריצתה. כך, למשל, ניסה ללא הצלחה לגשר בין האימפריה האוסטרו-הונגרית וסרביה. מחדלו הגדול הוא אולי בכך שלא הבהיר את עמדת בריטניה לגרמניה באותה העת, כי על האחרונה לקיים ולהגן על עמדתה הנייטרלית של בלגיה. כאשר העביר המסר לבסוף, כוחות גרמנים כבר החלו להתאסף לקראת פלישה לבלגיה והקבינט הבריטי הכריז מלחמה על הגרמנים. בתחילת המלחמה הוא אמר "האורות כבים" הערה שזכה לתשומת לב בזמנו.
במהלך המלחמה עצמה המשיך גריי לכהן כשר החוץ הבריטי. בנצלו את יכולתיו הדיפלומטיות ניהל גריי משא ומתן עם מספר מדינות אשר סייעו למדינות ההסכמה. כך למשל סייע בכניסתה של איטליה למלחמה וכן הבטיח לאימפריה הרוסית שטחים מאימפריה העות'מאנית.
גריי איבד את משרתו כשר החוץ של בריטניה בטרם נסתיימה המלחמה בעקבות חילופי השלטון בממשלה הבריטית. הוא המשיך בקריירה הפוליטית, עתה באופוזיציה. במהלך תקופה זו קיבל על עצמו את תואר האצולה ויקונט גריי הראשון, אך שושלתו של תואר זה נסתיימה עם מותו. בשנים 1919–1920 כיהן כשגריר בריטניה בארצות הברית.